شناسایی زبان اشاره فارسی با استفاده از دوربین های عمقی

thesis

وزارت علوم، تحقیقات و فناوری - دانشگاه صنعتی شاهرود - دانشکده مهندسی کامپیوتر
author زهرا فروتن جهرمی
adviser حمید حسن پور
Number of pages: First 15 pages
publication year 1392

abstract

شناسایی زبان اشاره توسط رایانه گام اولیه و مهمی در راستای ارتقای تعامل کاربران ناشنوا با رایانه است. با وجود گستردگی کارهای انجام شده در شناسایی زبان اشاره سایر کشور ها به خصوص زبان اشاره امریکایی، تنها هنوز گام های اولیه و آزمایشگاهی در مورد زبان اشاره فارسی انجام پذیرفته است. در این پایان نامه روشی جهت شناسایی حروف الفبای زبان اشاره فارسی باغچه بان (اولین و پرکاربردترین زبان اشاره فارسی) ارائه شده است که با استفاده از دوربین های عمقی و ویژگی های های هندسی دست، اسکلت و صورت، در محیطی با پس زمینه پیچیده درصد شناسایی بالایی را ارائه می دهد. تحقیق پیش¬رو اولین تحقیق کاربردی برای شناسایی زبان اشاره فارسی در محیطی با پس زمینه پیچیده است. هم چنین استخراج ویژگی از اسکلت و دهان فرد نیز تا کنون در شناسایی زبان اشاره فارسی انجام نگرفته است. کارهای اصلی انجام شده در این تحقیق عبارت اند از تولید اولین پایگاه داده عمقی زبان اشاره فارسی باغچه بان شامل تصاویر کامل بدن و به خصوص صورت و دهان، شناسایی کامل 38 حرف الفبای معمول ناشنوایان با سرعت بلادرنگ، استفاده از ویژگی های اسکلتی و نقاط صورت در تشخیص زبان اشاره فارسی و تحلیل و بررسی نتایج سیستم تا رسیدن به درصد تشخیص بیش از 99%. پایگاه داده استفاده شده در این سیستم دارای 150 تا 500 نمونه متفاوت از 38 حرف الفبای زبان اشاره فارسی باغچه بان با فضایی دارای تداخل رنگی بین دست، صورت، بدن، لباس و پس زمینه تصویر می باشد که توسط سنسور کینکت ضبط شده است و به ازای هر فریم آن، تصویر رنگی، تصویر عمقی، اسکلت نیم تنه بالای بدن و 121 نقطه صورت فرد استخراج شده است. تحلیل نتایج سیستم نشان دهنده بهترین درصد شناسایی 99.4% برای 3800 نمونه (100 نمونه از هر حرف) و 99.2% به ازای 5700 نمونه (150 نمونه از هر حرف) است. تاثیر استفاده از ویژگی های هندسی دست و دهان، ویژگی های بر پایه تبدیل موجک استخراج شده از تصویر قطعه بندی شده دهان و ویژگی های اسکلتی مربوط به مکان قرارگیری دست، در این تحقیق مورد ارزیابی قرار گرفته اند. بررسی عملکرد سیستم نیز نشان دهنده سرعت بین 40 تا 70 فریم بر ثانیه در شناسایی داده های پایگاه داده و با استفاده از دسته بند بیز می باشد.

First 15 pages

Signup for downloading 15 first pages

Already have an account?login

similar resources

شناسایی زبان اشاره با استفاده از دوربین های عمقی

تشخیص زبان اشاره توسط رایانه در حوزه های مختلف هنوز یک چالش محسوب می شود. یکی از مهمترین مشکلات در این حوزه قطعه بندی دست، به خصوص در پس زمینه های پیچیده است. با ارائه دوربین های عمقی به خصوص سنسور کینکت، عمق پیکسل های تصویر نیز در دسترس می باشد که می تواند در قطعه بندی تصویر دست بسیار مفید باشد. در این تحقیق یک سیستم بلادرنگ تشخیص هجی انگشتی حروف الفبای زبان اشاره آمریکایی بر مبنای قطعه بندی ع...

بازشناسی علامت های ساکن زبان اشاره ی فارسی با استفاده از یک توصیف گر شکلی جدید

در این مقاله یک سیستم برای بازشناسی علامت های ساکن زبان اشاره ی فارسی پیشنهاد شده است. این سیستم بر مبنای یک ویژگی شکلی جدید طراحی شده و قادر است با نرخ تشخیص بالایی، علامت های ساکن الفبای زبان اشاره ی فارسی را به طور خودکار بازشناسی کند. در اینسیستم، ابتدا با استفاده از آنالیز مؤلفه ی اصلی (pca)، جهت های غالب دست را بدست می آوریم و تصاویر را در جهت غالب دست، به نحوی که سیستم مختصات جدید تصویر ...

full text

تشخیص زبان اشاره فارسی با استفاده از کینکت

ناشنوایان برای ارتباط با دیگران از زبان اشاره استفاده می کنند. فهم این زبان برای دیگران امری مشکل است و معمولاً نیاز به مترجم دارند. هدف این تحقیق طراحی و ساخت مترجم زبان اشاره فارسی است. داده عمق کینکت به نور محیط وابسته نیست، بنابراین ویژگی های استخراج شده از آن در محیط های مختلف تغییر ناپذیر می باشد. برای به دست آوردن یک سیستم پایدار در این تحقیق تنها از داده های عمق برای استخراج ویژگی استفاد...

15 صفحه اول

مثلث بندی با استفاده از تصاویر دوربین های CCD

در ساختمان اکثر دوربین های پیشرفته از آرایه های خطی CCD استفاده شده است. تصاویر استریو، همزمانی که سکوی دوربین در حرکت است برداشته می شوند. مدل ریاضی، برای اندازه گیری نقاط فتوگرامتری در تصویربرداری هوایی براساس چند جمله ای ها می باشد، با توجه به اینکه در تصویربرداری فضایی شرط های 5 مداری نیز در نظر گرفته خواهد شد. نتایج شبیه سازی کامپیوتری برای اندازه گیری نقاط در بلوک اجستمنت همزمان...

full text

معرفی سیستم آموزش تشخیص و تصحیح ابهام کلمات برای افزایش کارایی مترجم متن فارسی به زبان اشاره فارسی با استفاده از آنتولوژی.

مهم‌ترین عامل ارتباط بین انسان‌ها، توانمندی در برقراری ارتباط از روش‌های مختلف مانند گفتار، نوشتار و زبان‌اشاره می‌باشد. ناتوانی افراد کم‌شنوا و ناشنوا در برقراری ارتباط صمیمانه، هم‌چنین نبود آموزش مرسوم با توجه به نیازهای جامعه، باعث کنارگذاری این افراد شده است. این پژوهش به دنبال معرفی سیستمی می‌باشد که متن فارسی را دریافت کرده و بعد از انجام پردازش‌ زبان طبیعی لازم، آن را به زبان اشاره فارسی...

full text

لاپاروسکوپی با استفاده از انگشت اشاره

full text

My Resources

Save resource for easier access later

Save to my library Already added to my library

{@ msg_add @}

document type: thesis

وزارت علوم، تحقیقات و فناوری - دانشگاه صنعتی شاهرود - دانشکده مهندسی کامپیوتر

Keywords

زبان اشاره زبان فارسی سیستم پایگاه داده ها الفبای فارسی عمق دوربین هجی انگشتی تجهیزات گفتارشناسی نمادگذاری تبدیل موجک باغچه بان، جبار

Hosted on Doprax cloud platform doprax.com